SKILLER: Language-Level Reinforcement Learning for Reusable Skill Extraction in Small Language Models
SKILLER：面向小语言模型可复用技能提取的语言级强化学习框架
🧭 Agent 技能生成 · 语言级强化学习 ★ 深度解读
Shanghai Jiao Tong University · Shanghai Artificial Intelligence Laboratory · Harbin Institute of Technology, Shenzhen · Tsinghua Shenzhen International Graduate School, Tsinghua University
用自然语言强化学习为小型 LVLM 自动生成定制化 agent 技能，不更新权重，成本降低 71-167 倍
📌 工作参考价值（4 点）
- 离线用强模型（GPT-5.4）作为 actor/critic，将目标小模型（Qwen3.5-9B/4B）的 agent loop 当作环境，通过可验证 reward 迭代优化 prompt/skill，线上只部署小模型，大幅降低推理成本。在电商客服、推荐解释生成等场景可直接复用此离线优化范式。
- 将复杂多步推理流程固化到确定性脚本/工具中，skill 只负责调用和异常处理，避免小模型上下文过长、步骤遗漏或幻觉。对应推荐系统可将商品特征处理、规则过滤放在外部服务，LLM 只做轻量决策。
- 语言级 policy iteration 的 critic 定位最早因果错误并生成有界编辑（INSERT/REPLACE/CREATE/DELETE），actor 实施局部更新并保留有效内容，防止灾难性遗忘。可用于 prompt 迭代优化：从失败 case 诊断原因，局部修改 prompt 而非全量重写。
- 成本-性能权衡：SKILLER 生成技能成本约 $8.95，低于 SkillX $14.55 且性能更高；相比闭源部署成本低 71-167 倍。提示在预算有限时，针对 executor 定制 prompt 比盲目堆大模型更高效。